Theo chính sử, Nhạc là hậu duệ của họ Phan ở huyện Quảng Tông, quận Trường Nhạc [2]. Cha là Vĩnh, giỏi võ nghệ, được tập tước Quảng Tông nam. Đời Bắc Ngụy, gia tộc của ông đã có vài thế hệ tham gia trấn thủ Lục trấn ở biên giới phía bắc, nhưng chánh sử không cho biết Nhạc có phải là trấn binh hay không!?

Họ Phan ở Quảng Tông là đại tộc, nguyên tổ là Phan Kiền đời Đông Hán, sống ở Trường Bình, nước Trần. Cháu đời thứ sáu của Phan Kiền là Phan Kỳ dời nhà đến Quảng Tông. Trong cùng thời điểm Cát Vinh khởi nghĩa, chánh sử ghi nhận có người Quảng Tông là Phan Vĩnh Cơ phò tá Ký Châu thứ sử Nguyên Phu ở Tín Đô [3], về sau làm đến Đông Từ Châu thứ sử, được truy tặng Ký Châu thứ sử. Phan thị tộc phả nhận Phan Vĩnh Cơ là hậu duệ đời thứ 14 của Phan Kiền, cho rằng Phan Vĩnh Cơ và Phan Vĩnh là một người, nhưng không đưa ra được chứng cứ. Một thuyết khác cho biết ông nội của Nhạc là Phan Trường, làm Hoài Sóc trấn tướng. Bởi nhà Bắc Ngụy chỉ dùng quý tộc Tiên Ti làm trấn tướng, nên Phan Trường phải là người Tiên Ti, họ Phan của Phan Trường là từ họ Phá Đa La đổi sang, sau khi Hiếu Văn đế tiến hành Hán hóa. Như thế Phan Nhạc không có quan hệ gì với họ Phan ở Quảng Tông.